Andrei Sakharov sinh ra trong một gia đình trí thức ở Moskva. Cha ông nguyên là giáo viên vật lý trường phổ thông, sau này tham gia giảng dạy tại trường Đại học sự phạm quốc gia Moskva.[3][4] Mẹ ông có gốc gác Hy Lạp, hai bên gia đình đều là người mộ đạo nhưng cả cuộc đời mình Sakharov là một người không tôn giáo (ông vẫn tin có một "nguyên lý dẫn đường" cho cả vũ trụ và loài người).

Ông vào học khoa vật lý trường Đại học Tổng hợp Moskva năm 1938 và tốt nghiệp cử nhân năm 1942 và đạt bằng đỏ. Làm nghiên cứu sinh ở Viện vật lý Lebedeva P.N (1947), lấy bằng tiến sĩ khoa học toán lý (1953).

Sau khi tốt nghiệp đại học ông làm kĩ sư nghiên cứu trong nhà máy đạn Ulianovsk. Năm 1943 ông cưới Klavdia Alekseyevna Vikhireva và có hai con gái, một con trai (Klavdia mất năm 1969). Năm 1972, ông cưới Yelena Bonner, một người bạn cùng đấu tranh cho nhân quyền.

Năm 1945 ông trở về Moskva và vào nghiên cứu trong khoa lý thuyết của Viện vật lý thuộc Hàn lâm khoa học Liên Xô, năm 1947 ông nhận bằng tiến sĩ. Từ giữa năm 1948 ông tham gia chương trình nghiên cứu chế tạo bom hạt nhân của Liên Xô, cùng làm việc với Igor Tamm, Igor Kurchatov.

Năm 1950, ở Sarov, ông đóng vai trò quan trọng trong việc phát triển bom khinh khí hạng megaton của Liên Xô, đồng thời cùng với dự án Teller-Ulam của Hoa Kỳ, quả bom này đã nổ thử năm 1955. Cũng năm 1950 Sakharov và Igor Tamm đã đề xuất ý tưởng về lò phản ứng nhiệt hạch có kiểm soát (tokamak) phục vụ cho mục đích hòa bình.

Từ sau năm 1965, Sakharov trở lại nghiên cứu vật lý lý thuyết, bắt đầu nghiên cứu về hạt nhân và khoa học vũ trụ.[5][6][7][8][9][10][11][12][13][14][15][16]